Compared to the great progress of large-scale vision transformers (ViTs) in recent years, large-scale models based on convolutional neural networks (CNNs) are still in an early state. This work presents a new large-scale CNN-based foundation model, termed InternImage, which can obtain the gain from increasing parameters and training data like ViTs. Different from the recent CNNs that focus on large dense kernels, InternImage takes deformable convolution as the core operator, so that our model not only has the large effective receptive field required for downstream tasks such as detection and segmentation, but also has the adaptive spatial aggregation conditioned by input and task information. As a result, the proposed InternImage reduces the strict inductive bias of traditional CNNs and makes it possible to learn stronger and more robust patterns with large-scale parameters from massive data like ViTs. The effectiveness of our model is proven on challenging benchmarks including ImageNet, COCO, and ADE20K. It is worth mentioning that InternImage-H achieved the new record 65.4 mAP on COCO test-dev. The code will be released at https://github.com/OpenGVLab/InternImage.

视频识别是由端到端学习范式主导的 - 首先初始化具有预审预周化图像模型的视频识别模型，然后对视频进行端到端培训。这使视频网络能够受益于验证的图像模型。但是，这需要大量的计算和内存资源，以便在视频上进行填充以及直接使用预审计的图像功能的替代方案，而无需填充图像骨架会导致结果不足。幸运的是，在对比视力语言预训练（剪辑）方面的最新进展为视觉识别任务的新途径铺平了道路。这些模型在大型开放式图像文本对数据上进行了预测，以丰富的语义学习强大的视觉表示。在本文中，我们介绍了有效的视频学习（EVL） - 一种有效的框架，用于直接训练具有冷冻剪辑功能的高质量视频识别模型。具体来说，我们采用轻型变压器解码器并学习查询令牌，从剪辑图像编码器中动态收集帧级空间特征。此外，我们在每个解码器层中采用局部时间模块，以发现相邻帧及其注意力图的时间线索。我们表明，尽管有效地使用冷冻的骨干训练，但我们的模型在各种视频识别数据集上学习了高质量的视频表示。代码可在https://github.com/opengvlab/feld-video-rencognition上找到。

对比视力语言预训练（称为剪辑）为使用大型图像文本对学习视觉表示提供了新的范式。通过零拍知识转移，它在下游任务上表现出令人印象深刻的表现。为了进一步增强剪辑的适应能力，现有的方法提议微调额外的可学习模块，这大大改善了少量的性能，但引入了额外的培训时间和计算资源。在本文中，我们提出了一种无训练的适应方法，用于进行剪辑进行几个弹药分类，称为Tip-Adapter，该分类不仅继承了零拍剪辑的无训练优势，而且还与训练需要的那些相当的表现相当方法。 TIP-ADAPTER通过少数照片训练集通过键值缓存模型构造适配器，并更新通过功能检索中剪辑中编码的先验知识。最重要的是，可以通过对10 $ \ times $ \现有方法少的速度$ \ times $ $ \现有方法进行微调，这可以进一步提高Imagenet上的最先进。高效的。我们在11个数据集上进行了很少的射击分类实验，以证明我们提出的方法的优势。代码在https://github.com/gaopengcuhk/tip-adapter上发布。

为了构建人工神经网络，例如生物智能系统，最近的作品将许多任务统一为通才模型，该模型可以使用共享参数处理各种任务，并且没有任何特定于任务的模块。尽管通才模型在各种基准上取得了令人鼓舞的结果，但与任务特殊模型相比，它们在某些任务上具有绩效降解。在这项工作中，我们发现不同任务和方式之间的干扰是这种现象的主要因素。为了减轻这种干扰，我们将条件混合物（条件MOE）引入通才模型。建议在不同级别的条件下采用路由策略来考虑培训/推理成本和概括能力。通过合并提出的条件MOE，最近提出的通才模型Uni-Pectiver可以有效地减轻任务和方式的干扰，并通过迅速调整1％的下游数据，从而在一系列下游任务上实现最新的结果。 。此外，有条件的MOE的引入仍然具有通才模型对新任务（例如视频文本检索和视频标题）进行零摄像推断的概括能力。应发布代码和预培训的通才模型。

我们介绍了光流变压器，被称为流动型，这是一种基于变压器的神经网络体系结构，用于学习光流。流动形式将图像对构建的4D成本量构成，将成本令牌编码为成本记忆，并在新颖的潜在空间中使用备用组变压器（AGT）层编码成本记忆，并通过反复的变压器解码器与动态位置成本查询来解码成本记忆。在SINTEL基准测试中，流动型在干净和最终通行证上达到1.144和2.183平均末端PONIT-ERROR（AEPE），从最佳发布的结果（1.388和2.47）降低了17.6％和11.6％的误差。此外，流程度还达到了强大的概括性能。在不接受Sintel的培训的情况下，FlowFormer在Sintel训练套装清洁通行证上达到了0.95 AEPE，优于最佳发布结果（1.29），提高了26.9％。

随着日常生活中的自然语言处理（NLP）的部署扩大，来自NLP模型的继承的社会偏见变得更加严重和有问题。以前的研究表明，在人生成的Corpora上培训的单词嵌入式具有强烈的性别偏见，可以在下游任务中产生鉴别结果。以前的脱叠方法主要侧重于建模偏差，并且仅隐含地考虑语义信息，同时完全忽略偏置和语义组件之间的复杂潜在的因果结构。为了解决这些问题，我们提出了一种新的方法，利用了因果推断框架来有效消除性别偏见。所提出的方法允许我们构建和分析促进性别信息流程的复杂因果机制，同时保留单词嵌入中的Oracle语义信息。我们的综合实验表明，该方法达到了最先进的性别脱叠任务。此外，我们的方法在字相似性评估和各种外在下游NLP任务中产生了更好的性能。

动物的生物智能系统通过将信息与各种任务同时整合在不同的方式和处理中的信息。相比之下，当前的机器学习研究遵循一个特定于任务的范例，导致任务与开发新任务的感知模型的高度边际成本之间的负面合作。在本文中，我们展示了一个名为Uni-Perceiver的通用感知体系结构，其处理各种模型和任务，具有统一的建模和共享参数。具体而言，UNI-Perceiver将从任意模态的不同的任务输入和目标进行编码为具有模态 - 不可变换器编码器和轻量级模式特定标记的统一表示空间。不同的感知任务被建模为相同的配方，即通过其表示的相似性找到每个输入的最大可能性目标。该模型在多个单模和多模态任务上预先培训，并在各种下游任务上进行评估，包括在预训练阶段中未出现的新任务。结果表明，我们没有任何调整的预先训练的模型即使在新的任务上也可以实现合理的性能。通过在下游任务数据的1％上进行提示调整，可以将性能提高到接近最先进的方法的水平。全数据微调进一步提供结果与最先进的结果相提并论。代码应释放。

作为剪辑的对比视觉语言预培训为通过使用大规模对比图像文本对提供了学习视觉表示的新范式。它显示了零击中知识转移到下游任务的令人印象深刻的性能。为了进一步增强剪辑的几次射击功能，提出的剪辑适配器提出微调轻量级残留功能适配器，并显着提高了几次拍摄分类的性能。但是，这样的过程仍然需要额外的培训和计算资源。在本文中，我们提出了\ textbf {t}下雨的cl \ textbf {ip} - \ textbf {适配器}（\ textbf {tip-adapter}），它不仅继承了剪辑的无训练优势，还可以相当地执行或甚至比剪辑适配器更好。提示 - 适配器不需要任何用于训练适配器的备份传播，而是通过从几次拍摄训练集构造的键值高速缓存模型创建权重。在这种非参数的方式中，提示适配器在没有任何训练的情况下获取良好的适配器权重，这既有效且有效。此外，可以通过微调这种适当的初始化适配器进一步提高尖端适配器的性能，仅用于具有超快速收敛速度的几个时期。我们对ImageNet和其他10个数据集进行了广泛的小型分类实验，以证明提出的提示适配器的优越性。代码将以\ URL {https://github.com/gaopengcuhk/tip-adapter}释放。

When using LiDAR semantic segmentation models for safety-critical applications such as autonomous driving, it is essential to understand and improve their robustness with respect to a large range of LiDAR corruptions. In this paper, we aim to comprehensively analyze the robustness of LiDAR semantic segmentation models under various corruptions. To rigorously evaluate the robustness and generalizability of current approaches, we propose a new benchmark called SemanticKITTI-C, which features 16 out-of-domain LiDAR corruptions in three groups, namely adverse weather, measurement noise and cross-device discrepancy. Then, we systematically investigate 11 LiDAR semantic segmentation models, especially spanning different input representations (e.g., point clouds, voxels, projected images, and etc.), network architectures and training schemes. Through this study, we obtain two insights: 1) We find out that the input representation plays a crucial role in robustness. Specifically, under specific corruptions, different representations perform variously. 2) Although state-of-the-art methods on LiDAR semantic segmentation achieve promising results on clean data, they are less robust when dealing with noisy data. Finally, based on the above observations, we design a robust LiDAR segmentation model (RLSeg) which greatly boosts the robustness with simple but effective modifications. It is promising that our benchmark, comprehensive analysis, and observations can boost future research in robust LiDAR semantic segmentation for safety-critical applications.

In recent years, arbitrary image style transfer has attracted more and more attention. Given a pair of content and style images, a stylized one is hoped that retains the content from the former while catching style patterns from the latter. However, it is difficult to simultaneously keep well the trade-off between the content details and the style features. To stylize the image with sufficient style patterns, the content details may be damaged and sometimes the objects of images can not be distinguished clearly. For this reason, we present a new transformer-based method named STT for image style transfer and an edge loss which can enhance the content details apparently to avoid generating blurred results for excessive rendering on style features. Qualitative and quantitative experiments demonstrate that STT achieves comparable performance to state-of-the-art image style transfer methods while alleviating the content leak problem.